بلومبرگ نسخه خود از یک "دروازه هوش مصنوعی" رایگان و متنباز (FOSS) را منتشر کرده است که با همکاری تتریت ایجاد کرده است، زیرا نگران بود که نسخههای اختصاصی بسیار گران باشند و جایگزینهای "متنباز" بسیار محدود با ویژگیهای بهتری که فقط از طریق مجوزهای سازمانی در دسترس هستند.
هدف این شرکت خدمات مالی استفاده از این پروژه برای مدیریت فراخوانیهای API به مدلهای زبانی بزرگ است. اولین نسخه پایدار (v0.1) از ساخته مشترک آنها، یک "دروازه هوش مصنوعی Envoy" با مجوز Apache 2.0، اکنون در دسترس است.
همانطور که اولین بار توسط The Stack در اوایل اکتبر 2024 گزارش شد، این دو شرکت برای ساخت آن بر اساس پروژه CNCF "Envoy" که هر دو در آن مشارکت دارند، همکاری کردند. تیمهای مهندسی پلتفرم بلومبرگ از Gateway در مقابل چندین LLM برای مدیریت احراز هویت، محدود کردن نرخ و سایر ویژگیها استفاده خواهند کرد.
(اگر توسعهدهندگان بخواهند از طیف وسیعی از LLMها برای برنامههای خود استفاده کنند و این به نحوی از طریق یک دروازه مرکزی مدیریت نشود، هم IT سایه و هم هزینهها میتوانند شروع به افزایش کنند. یک "دروازه هوش مصنوعی" به کسانی که مسئول ارائه پلتفرمها هستند، این امکان را میدهد که هزینهها را زیر نظر داشته باشند و چه کسی از چه چیزی استفاده میکند.)
بلومبرگ پیشتر گفته بود که با تتریت، نگهدارنده Envoy، برای "ساخت آن" به جای "خرید آن" همکاری کرده است تا از وابستگی به یک فروشنده جلوگیری کند، یا مجبور به خرید ویژگیهایی در پروژههای ظاهراً متنباز باشد که فقط از طریق مجوزهای سازمانی اضافی قابل دسترسی هستند. فراخوانیهای API به LLMها از قبل گران هستند. اضافه کردن یک لایه هزینه دیگر در مقابل جذاب نیست.
این دو شرکت گفتند که اولین نسخه دروازه هوش مصنوعی Envoy موارد زیر را ارائه میدهد:
- "API یکپارچه برای سادهسازی ادغام مشتری با چندین ارائهدهنده LLM... نسخه 0.1 شامل ادغام با AWS Bedrock و OpenAI است."
- "مجوز بالادستی برای سادهسازی ورود به سیستم با چندین ارائهدهنده خدمات LLM..."
- "محدود کردن نرخ استفاده بر اساس توکنهای کلمه، تضمین مقرون به صرفه بودن و کنترل عملیاتی. نرخ توکنها را میتوان بر اساس ارائهدهنده LLM محدود کرد، برای هر مدل سفارشی کرد یا برای هر مشتری برای یک دوره زمانی مشخص تنظیم کرد."
در همین حال، در نقشه راه پروژه کوتاهمدت:
- "ادغام Google Gemini 2.0 خارج از جعبه
- "منطق بازگشت ارائهدهنده و مدل برای اطمینان از ادامه خدمات در صورت عدم دسترسی موقت به یک سرویس هوش مصنوعی
- "الگوی Prompt برای ارائه زمینه سازگار به سرویس LLM در سراسر درخواستها
- "ذخیرهسازی معنایی برای کاهش هزینههای استفاده از LLM با استفاده مجدد از پاسخهای درخواستهای مشابه معنایی، در نتیجه به حداقل رساندن تعاملات گران قیمت LLM
استیون باور، مدیر گروه مهندسی خدمات محاسباتی بومی ابری بلومبرگ در بیانیه ای که در 25 فوریه منتشر شد، گفت: "دروازه هوش مصنوعی Envoy بلومبرگ را قادر می سازد تا مهندسان خود را به زیرساخت های مورد نیاز برای ارائه سریع و در مقیاس برنامه های هوش مصنوعی مولد مجهز کند."
این پروژه زمانی آغاز شد که دن سان، رهبر تیم مهندسی خدمات محاسباتی بومی ابری و تیم استنتاج هوش مصنوعی بلومبرگ، به انجمن Envoy آمد و دیدگاه های خود را در مورد فضای مشکل مطرح کرد. تتریت، یکی از مشارکت کنندگان مهم در پروژه Envoy، برای حمایت وارد عمل شد. (سان همچنین بنیانگذار Kserve، ابزاری برای ارائه مدل های هوش مصنوعی پیش بینی کننده و مولد در Kubernetes است که توسط AMD و NVIDIA پذیرفته شده است.)
تیمها تصمیم گرفتند این دروازه هوش مصنوعی را بر اساس Envoy Gateway، یک پروژه بنیاد محاسبات بومی ابری (CNCF) ایجاد کنند که در سال 2022 راه اندازی شد که بر اساس Kubernetes Gateway API ساخته شده است و هدف آن، تا حدی، یک پیاده سازی مرجع برای اجرای Envoy در Kubernetes به عنوان یک کنترلر ورودی است. (Envoy خود یک پروژه OSS محبوب، هرچند پیچیده است که در ابتدا در سال 2016 راه اندازی شد و می تواند به روش های مختلفی مورد استفاده قرار گیرد، از جمله در معماری های مبتنی بر میکروسرویس، برای مدیریت کشف خدمات، تعادل بار، خاتمه TLS، پروکسی های HTTP/2 و gRPC.)